Automated synthesis of histology images has several potential applications in computational pathology. However, no existing method can generate realistic tissue images with a bespoke cellular layout or user-defined histology parameters. In this work, we propose a novel framework called SynCLay (Synthesis from Cellular Layouts) that can construct realistic and high-quality histology images from user-defined cellular layouts along with annotated cellular boundaries. Tissue image generation based on bespoke cellular layouts through the proposed framework allows users to generate different histological patterns from arbitrary topological arrangement of different types of cells. SynCLay generated synthetic images can be helpful in studying the role of different types of cells present in the tumor microenvironmet. Additionally, they can assist in balancing the distribution of cellular counts in tissue images for designing accurate cellular composition predictors by minimizing the effects of data imbalance. We train SynCLay in an adversarial manner and integrate a nuclear segmentation and classification model in its training to refine nuclear structures and generate nuclear masks in conjunction with synthetic images. During inference, we combine the model with another parametric model for generating colon images and associated cellular counts as annotations given the grade of differentiation and cell densities of different cells. We assess the generated images quantitatively and report on feedback from trained pathologists who assigned realism scores to a set of images generated by the framework. The average realism score across all pathologists for synthetic images was as high as that for the real images. We also show that augmenting limited real data with the synthetic data generated by our framework can significantly boost prediction performance of the cellular composition prediction task.
translated by 谷歌翻译
具有多吉吉像素的组织学图像产生了丰富的信息,以用于癌症诊断和预后。在大多数情况下,只能使用幻灯片级标签,因为像素的注释是劳动密集型任务。在本文中,我们提出了一条深度学习管道,以进行组织学图像中的分类。使用多个实例学习,我们试图预测基于降血石蛋白和曙红蛋白(H&E)组织学图像的鼻咽癌(NPC)的潜在膜蛋白1(LMP1)状态。我们利用了与聚合层保持剩余连接的注意机制。在我们的3倍交叉验证实验中,我们分别达到了平均准确性,AUC和F1得分为0.936、0.995和0.862。这种方法还使我们能够通过可视化注意力评分来检查模型的可解释性。据我们所知,这是使用深度学习预测NPC上LMP1状态的首次尝试。
translated by 谷歌翻译
从不同扫描仪/部位的有丝分裂数字的检测仍然是研究的重要主题,这是由于其潜力协助临床医生进行肿瘤分级。有丝分裂结构域的概括(MIDOG)2022挑战旨在测试从多种扫描仪和该任务的多种扫描仪和组织类型中看不见数据的检测模型的鲁棒性。我们提供了TIA中心团队采用的方法来应对这一挑战的简短摘要。我们的方法基于混合检测模型,在该模型中,在该模型中进行了有丝分裂候选者,然后被深度学习分类器精炼。在训练图像上的交叉验证在初步测试集上达到了0.816和0.784的F1得分,这证明了我们模型可以从新扫描仪中看不见的数据的普遍性。
translated by 谷歌翻译
组织病理学图像的出现取决于组织类型,染色和数字化过程。这些因素因来源而异,是域转移问题的潜在原因。由于这个问题,尽管深度学习模型在计算病理学中取得了巨大的成功,但在特定领域训练的模型当我们将其应用于另一个领域时,仍可能会表现出色。为了克服这一点,我们提出了一种称为PatchShuffling的新扩展,并为预训练的深度学习模型而被称为Impash的新型自我监视的对比学习框架。使用这些,我们获得了一个RESNET50编码器,该编码器可以提取对域移位抗性的图像表示。我们通过使用其他域普通化技术来比较了我们的派生表示形式,它们通过将它们用于结直肠组织图像的跨域分类。我们表明,所提出的方法优于其他传统的组织学领域适应和最先进的自我监督学习方法。代码可在以下网址获得:https://github.com/trinhvg/impash。
translated by 谷歌翻译
肿瘤浸润淋巴细胞(TIL)的定量已被证明是乳腺癌患者预后的独立预测因子。通常,病理学家对含有tils的基质区域的比例进行估计,以获得TILS评分。乳腺癌(Tiger)挑战中肿瘤浸润淋巴细胞旨在评估计算机生成的TILS评分的预后意义,以预测作为COX比例风险模型的一部分的存活率。在这一挑战中,作为Tiager团队,我们已经开发了一种算法,以将肿瘤与基质与基质进行第一部分,然后将肿瘤散装区域用于TILS检测。最后,我们使用这些输出来生成每种情况的TILS分数。在初步测试中,我们的方法达到了肿瘤 - 细胞瘤的加权骰子评分为0.791,而淋巴细胞检测的FROC得分为0.572。为了预测生存,我们的模型达到了0.719的C索引。这些结果在老虎挑战的初步测试排行榜中获得了第一名。
translated by 谷歌翻译
头部和颈部鳞状细胞癌(HNSCC)的病因涉及多种致癌物,例如酒精,烟草和人乳头瘤病毒(HPV)。由于HPV感染会影响HNSCC患者的预后,治疗和存活,因此确定这些肿瘤的HPV状态很重要。在本文中,我们提出了一个新颖的三胞胎级损耗函数和HPV状态预测的多个实例学习管道。这仅使用两个HNSCC同类群体上的常规H&E染色WSI,在HPV检测中实现了新的最新性能。此外,还进行了全面的肿瘤微环境分析,从基因组,免​​疫学和细胞角度来看,HPV +/- HNSCC之间的独特模式。鉴定了与巨噬细胞和结缔细胞(例如成纤维细胞)(例如,成纤维细胞)(例如,成纤维细胞)与T细胞不同亚型(例如T细胞,CD8+ T细胞)的正类型的正相关性,这与临床发现一致。还针对HPV感染状态鉴定了独特的基因表达谱,并且与现有发现一致。
translated by 谷歌翻译
自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是,当前的度量使用通常是不明智的,并且不能反映基本的域名。在这里,我们提出了一个全面的框架,该框架指导研究人员以问题意识的方式选择绩效指标。具体而言,我们专注于生物医学图像分析问题,这些问题可以解释为图像,对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ,数据集和算法与输出问题相关的属性的属性与问题指纹相关,同时还将其映射到适当的问题类别,即图像级分类,语义分段,实例,实例细分或对象检测。然后,它指导用户选择和应用一组适当的验证指标的过程,同时使他们意识到与个人选择相关的潜在陷阱。在本文中,我们描述了指标重新加载推荐框架的当前状态,目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的,将在社区驱动的优化之后公开作为用户友好的工具包提供。
translated by 谷歌翻译
病理诊所中癌症的诊断,预后和治疗性决策现在可以基于对多吉吉像素组织图像的分析,也称为全斜图像(WSIS)。最近,已经提出了深层卷积神经网络(CNN)来得出无监督的WSI表示。这些很有吸引力,因为它们不太依赖于繁琐的专家注释。但是,一个主要的权衡是,较高的预测能力通常以解释性为代价,这对他们的临床使用构成了挑战,通常通常期望决策中的透明度。为了应对这一挑战,我们提出了一个基于Deep CNN的手工制作的框架,用于构建整体WSI级表示。基于有关变压器在自然语言处理领域的内部工作的最新发现,我们将其过程分解为一个更透明的框架,我们称其为手工制作的组织学变压器或H2T。基于我们涉及各种数据集的实验,包括总共5,306个WSI,结果表明,与最近的最新方法相比,基于H2T的整体WSI级表示具有竞争性能,并且可以轻松用于各种下游分析任务。最后,我们的结果表明,H2T框架的最大14倍,比变压器模型快14倍。
translated by 谷歌翻译
计算病理(CPATH)是一种具有关于组织病理研究的新兴领域,通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积,以预测诊断域,预测,治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据,CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中,我们讨论了CPATH限制和相关挑战,使读者能够区分HIPE的希望,并为未来的研究提供指示,以克服这个崭露头角领域的一些主要挑战,以使其发射到两个轨道上。
translated by 谷歌翻译
核毒素和eosin染色组织学图像中的核分段,分类和定量使得能够提取可解释的细胞基特征,该特征可用于计算病理(CPATH)中的下游可解释模型。然而,对不同核的自动识别面临着主要的挑战,因为有几种不同类型的核,其中一些呈现出大的内部变异性。为了帮助推动CPATH中自动核认可的前进研究和创新,我们组织了结肠核识别和计数(圆锥)挑战。挑战鼓励研究人员开发在CPATH中,在CPATH中,在CPATH中进行当前最大已知的公知的核级数据集进行分割,分类和计数,其中包含大约一半的标记的核。因此,锥形挑战利用核数量超过10倍的核,作为核识别的前一大挑战数据集。如果我们希望在临床环境中部署它们,则对输入变体具有强大的算法很重要。因此,作为这一挑战的一部分,我们还将测试每个提交算法对某些输入变化的敏感性。
translated by 谷歌翻译